任务完成！你已掌握人工智能语言的核心基础！不太对哦！让我们重新构建一下这个序列吧！知识已上传：分词与序列……是……吗？？……还是……？
我们如何称呼人工智能用来阅读的微小基本单元？
没错！分词是像“apple”、“ing”或“？”这样的小单元，它们构成了人工智能的语言基础。
计算机如何表示一个分词，以便理解它？
正确！计算机只理解数字，因此每个分词都会获得一个唯一的标识编号。
如果我们有“friend”和“ship”的分词，那么“friendship”在被表示为一串数字时，叫什么？
完全正确！分词编号的有序列表被称为序列。
为什么序列中分词的顺序如此重要？
正是如此！相同的分词以不同顺序排列，可以彻底改变一句话的含义。
人工智能一次最多能处理多少个分词？
答对了！上下文窗口就是人工智能在对话中能“记住”的信息量的边界。
一个标点符号，比如句号（.），能否成为一个分词？
正确！分词可以是完整单词、单词的一部分，甚至是标点符号。一切都是构建模块！
1
分词与序列
进化课堂-AI004第4讲
0
🤖 哔哔！欢迎，学员！请选择下方子主题，了解人工智能如何通过分词来“阅读”。
Py-机器人指令实时
哔哔！ 你好，学员！要教会人工智能阅读，我们首先必须把单词切分成微小的“乐高积木”块。准备好学习计算机如何将文字转化为数字了吗？
主题进度0%
选择太棒了！一个分词就像一块乐高积木。像“friendship”这样的词会被拆分成“friend”和“ship”等更小的部分。甚至连一个简单的“.”也是分词！对人工智能来说，这些小块比整段长句子更容易处理。
1
子主题1
什么是分词？
将文本切分为像“friend”和“ship”这样的微小构建单元。
看这里！有了分词后，人工智能会为每个分词分配一个秘密编号。这些编号组成一个“序列”。记住：顺序至关重要！“狗咬了人”和“人咬了狗”使用的是相同的分词块，但不同的顺序讲述的是完全不同的故事！
2
子主题2
序列的力量
将分词块转化为一个顺序至上的数学列表。
你知道吗？人工智能有一个“上下文窗口”，就像它的手掌大小。它一次只能在“脑海”中保留一定数量的分词，之后就开始忘记开头的内容！
你知道吗？
人工智能有一个“上下文窗口”，就像它的手掌大小。它一次只能在“脑海”中保留一定数量的分词，之后就开始忘记开头的内容！
加载中...
⭐⭐⭐

任务完成！

你已成为分词大师！